Multimodal Reranking Is a System One Decision
多模态重排是一种系统一决策
🧭 多模态检索重排 · System One 决策
Aalto University
将多模态重排转化为System One选择题，通用VLM一次前向读logits排序，零样本超越专用小模型，文本决策微调有增益
📌 工作参考价值（3 点）
- 在电商多模态商品重排中，可用选择题范式替代逐候选打分：将 query 与 top-k 候选图/描述组成一个多选项 prompt，让通用 VLM（如 Qwen3-VL）一次前向输出每个选项 token 的 logits 作为排序分数，比逐对 yes/no 更快且 hit@1 更高。
- 零样本通用大模型可替代专用重排小模型：若业务数据覆盖较广，直接使用通用 VLM 零样本重排，通常能超过有监督小 reranker，减少标注和训练成本；工程上可放在第二级重排或高价值流量。
- 用纯文本决策数据微调决策能力：即使没有多模态重排标注，也可构造纯文本选择题数据对 VLM 做 decision tuning（如 JEV），提升页面重排等任务，自然图像任务保持稳定，适合快速冷启动。